Grosso khởi đầu sự nghiệp quốc tế vào năm 2003 với Ý. Anh được ông Marcello Lippi, huấn luyện viên của đội cho chơi ở vị trí sở trường tại Palermo là hậu vệ cánh trái, cùng với Gianluca Zambrotta ở cánh phải. Kỳ World Cup 2006 là giải đấu lớn đầu tiên của Grosso kể từ khi gia nhập tuyển quốc gia, năm đó anh 28 tuổi. Anh khoác áo số 3, số áo của huyền thoại Paolo Maldini.

Grosso có 3 lần lập công tại World Cup 2006, cả ba đều là bàn thắng quan trọng: 1 bàn trong trận hoà 1-1 với Scốtlen trên sân Hampden Park tại vòng đấu loại, 1 bàn tại vòng chung kết, trong trận tại vòng bán kết với Đức. Bàn cuối cùng nằm trong loạt Penalty, ấn định chiến thắng cho Ý trước Pháp để lên ngôi vô địch thế giới lần thứ 4. Grosso ghi bàn thứ 3 cho đội tuyển trong trận thắng Georgia 2-0 tại vòng loại EURO 2008 vào ngày 13 tháng 10, 2007.

Grosso là nhân vật nổi bật trong trận đấu vòng 2 World Cup 2006 giữa Ý với Úc tại Kaiserslautern. Anh đã hoàn thành tốt vai trò của mình trong suốt trận đấu và mang lại quả Penalty quyết định cho Ý vào cuối trận. Nhiều ý kiến cho rằng anh đã lao người té vào vòng cấm địa trước khi chân của Lucas Neill chạm tới, và sau pha sút phạt của Francesco Totti, Ý lọt vào tứ kết một cách khá may mắn. Ý khác cho rằng tiếng còi đó là chính xác vì Neily đã níu áo Grosso. Vụ việc này đã được đưa ra thảo luận vài lần, cuối cùng chủ tịch FIFA ông Sepp Blatter đã lên tiếng xin lỗi đội Úc vì cái sự cố nọ.

Tại vòng bán kết, Grosso sút vô lê rất đẹp vào lưới ở phút thứ 119 để giúp Ý đả bại Đức mà lọt vào chung kết. Màn ăn mừng bàn thắng của anh đã khiến các Fan của Azzurri liên tưởng tới huyền thoại Marco Tardelli của đội tuyển. Bàn thắng đã lên dây cót tinh thần cho các cầu thủ Ý và vài phút sau, Alessandro Del Piero chấm dứt giấc mơ của Đức bằng một bàn thắng khác. Sau đó, anh trở thành một trong những người hùng của nước Ý sau khi thực hiện thành công quả Penalty thứ 5, cũng là quả quyết định để chiến thắng Pháp trong trận chung kết, đưa Ý trở thành đội bóng châu Âu có kết quả tốt nhất trong lịch sử FIFA World Cup.

Mùa hè năm 2008, anh được gọi vào đội tuyển để tham dự Euro 2008, và chơi tốt trong những lần xuất hiện. Tuy nhiên, ở trận tứ kết với Tây Ban Nha, Ý đã để thua trong loạt sút luân lưu 11m và chấm dứt giải đấu.